Статистический анализ в R и Pyhton

import pandas as pd
# openpyxl
df = pd.read_excel(
    io = "crimes.xlsx",
    sheet_name = 0,
    header = 2
)

sbnm = sorted(
    set([match[0] for match in df.columns.str.findall(
        r'\d{4}').values if match != []]) )

df = pd.melt(
    frame = df,
    id_vars= df.columns[:3],
    value_vars= sbnm,
    var_name = 'Год'
).dropna()

df = df.astype({'Год': 'int'})
df = df.rename(columns={"Справочник территорий РФ": "ОКАТО"})
import re
df = df[
    (df['Период'] == '118 январь-декабрь')&
    # Фильтрация по субъектам РФ, у которых 11 значный код
    (df['ОКАТО'].apply(lambda x:bool(re.search(r'\d{11}', x))))
    ]

df.columns

import matplotlib.pyplot as plt

# plot:
df['value'].hist()
plt.show()

import numpy as np
import scipy.stats as stats

plt.clf()
df_plt = df.query('Год==2022').value

df_plt_bins = pd.DataFrame(pd.cut(df_plt, bins=5).value_counts())
df_plt_bins['cumul'] = np.cumsum(df_plt_bins['count'])

df_plt_bins

#строим их на одном графике
plt.hist(df_plt, density=1, bins=5)
plt.show()

plt.clf()
df_plt_bins['count'].plot()
plt.show()

plt.clf()
df_plt_bins['cumul'].plot()
plt.show()

plt.clf()
df_plt = df[['Год', 'value']].query('Год in (2008,2022)')
df_plt.boxplot(by='Год')
plt.show()

# plot:
plt.clf()
# plot:
fig, ax = plt.subplots()

vp = ax.violinplot(df['value'])

# styling:

plt.show()

plt.clf()
df_plt = df.query('ОКАТО=="450000000001 г. Москва"')[['Год', 'value']]
df_plt.plot('Год', 'value')
plt.show()

plt.clf()
df = pd.read_csv("regressionlab_1.csv", index_col=0, sep=";")

plt.scatter(df['issue'], df['adcost'])
plt.show()

# plt.clf()

fig, ax = plt.subplots()
ax.scatter('issue', 'adcost', data=df)
ax.set_title('Диаграмма рассеяния')
ax.set_xlabel('тираж, тыс.экз.')
ax.set_ylabel('стоимость рекламы, руб.')
ax.legend()
plt.show()

fig, ax = plt.subplots()
ax.scatter('issue', 'adcost', data=df)
ax.text(20, 30000, 'точки рассеяния')
plt.show()

fig, ax = plt.subplots()
ax.scatter('issue', 'adcost', data = df, marker="^", s=80)
plt.show()

fig, ax = plt.subplots()
ax.scatter('issue', 'adcost', data = df)
ax.set_xticks([20, 60, 140])
ax.set_yticks([5000, 20000, 35000])
plt.show()

ggplot(df, aes(x=value)) + 
    geom_histogram()

df_plt <- filter(df, `Год` == 2022) |> 
  pull(value) |>
  # dig.lab количество отображаемых чисел
  cut(breaks=5, dig.lab = 8) |> 
  vctrs::vec_count(sort = "key") |> 
  tibble() |> mutate( cumul = cumsum(count) )

df_plt

ggplot(data=df_plt, aes(x=key, y=count)) +
    geom_col()

ggplot(data=df_plt, aes(key, count, group = 1)) +
  geom_point()+
  geom_line()

ggplot(data=df_plt, aes(key, cumul, group = 1)) +
  geom_point()+
  geom_line()

df |> 
  filter(
    `Год` %in% c(2008,2022)
  ) |> 
  mutate(`Год` = as.character(`Год`) ) -> df_plt

ggplot(data=df_plt, aes( x = `Год`,group = `Год`,  y = value)) +
  geom_boxplot()

# plot:
ggplot(data=df_plt, aes( x = `Год`,group = `Год`,  y = value) ) + 
  geom_violin()

df |> 
  filter( `ОКАТО` == "450000000001 г. Москва" ) |> 
  select(`Год`, value) -> df_plt

ggplot(data=df_plt, aes( x = `Год`, y = value)) +
  geom_line()

df <- read.csv("regressionlab_1.csv", sep = ";") |> tibble()

ggplot(data=df, aes( x = issue, y = adcost)) +
  geom_point() 

ggplot(data=df, aes( x = issue, y = adcost)) +
  geom_point() +
  labs(
    title = 'Диаграмма рассеяния',
    x = 'тираж, тыс.экз.',
    y = 'стоимость рекламы, руб.'
  )

ggplot(data=df, aes( x = issue, y = adcost)) +
  geom_point( color="yellow", size = 10)

ggplot(data=df, aes( x = issue, y = adcost)) +
  geom_point() +
  annotate(geom="text", x=20, y=30000, label="точки рассеяния")

ggplot(data=df, aes( x = issue, y = adcost)) +
  geom_point(shape=23, size = 3) 

ggplot(data=df, aes( x = issue, y = adcost)) +
  geom_point() +
  scale_x_continuous(breaks = c(20, 60, 140) ) +
  scale_y_continuous(breaks = c(5000, 20000, 35000) )

library("scatterplot3d")

scatterplot3d(df[,1:3], angle = 55)

import seaborn as sns
plt.clf()
df.dropna(how="any", inplace=True)
sns.clustermap(df.select_dtypes(include=float))

library(pheatmap) ## for heatmap generation

pheatmap( select( df, where(is.double) ) )

plt.clf()
target = pd.factorize(df.variety)[0]

plt.scatter(
  df['sepal.width'], 
  df['sepal.length'], 
  alpha=0.2, s=100*df['petal.width'], 
  c=target, cmap='viridis' )
plt.show()

ggplot(
  data=df, 
  aes( 
    x = sepal.width, 
    y = sepal.length, 
    color = variety, 
    size = petal.width ) 
  ) +
  geom_point() 

plt.clf()
sns.kdeplot(
  data = df,
  x = 'sepal.width', 
  y = 'sepal.length', cmap="seismic", 
  cbar=True, fill=True, thresh=0
  )
plt.show()

ggplot(df, aes(x = sepal.width, y = sepal.length)) +
  geom_density_2d_filled()